Ch 4 Probability

UTG

CPE 332

Computer Engineering

Mathematics II

Part II, Chapter 4 Cont.: Statistical Average Chapter 5: Random Process

Today Topics

• HW 3 Due/ HW4 Due Next Week

• PDF

• Expectation

• Joint Density

• Correlation/Covariance

• Random Process

• Stationary

• Ergodic

Random Variables

• Mapping ผลลัพธ์เป็นตัวเลข (One-to-

One) ดังนั้นผลการทดลองสามารถไป

คํานวณต่อได ้

– ที่สําคัญคือค่าเฉลี่ยทางสถิติ

• Mean

• Variance

• Etc.

– และกราฟแสดงคุณสมบัติ Probability

• Cumulative Distribution Function (CDF)

• Probability Density Function (PDF)

– เมื่อผลลัพธ์ของการทดลอง(Sample Space)ได ้ Infinite Set เรา

ได ้ Continuous Random Variable

– เมื่อผลลัพธ์เป็น Finite Set การกําหนดจะใช ้ Set ของตัวเลข

มักจะเป็น Integer เราได้ Discrete Random Variable

CDF:Cumulative Distribution

Function of RV X

FX(x)

1.0

F (10) = P[ X ≤ 10]

X

x

x = 10

CDF of Normal (Gaussian) Distribution: Continuous

CDF Properties

CDF การทอยเหรียญ: Discrete RV

• ให ้ “หัว”= 0 และ “ก ้อย” = 1

F (x) = P(X ≤ x)

X

1.0

0.5

0

x

0

1

PDF: Probability Density

Function

f(x)

Area = f(x)dx = 1

x

PDF of Normal(Gaussian) Distribution : Continuous

Properties of PDF

Discrete Version

– ค่าของ Variable ไม่ต่อเนื่อง

• RV X มีค่าเฉพาะที่ X=xi

– F(x) = P(X≤x)

• Function นี้มีความต่อเนื่องด ้านขวามือ

• นิยามสําหรับทุกจุดใน Domain ของ x

• Function เป็นลักษณะขั้นบรรได

• Monotonic Increasing Function จาก 0 ถึง 1

– f(xi) = P(X = xi)

• นิยามเฉพาะจุด ไม่ต่อเนื่อง ค่าเป็นศูนย์ระหว่างนั้น

• บางทีเรียก Probability Mass Function

• ∑f(xi)=1 เสมอ

f(x)

PMF

x

F(x)

CDF

x

Statistical Average

Discrete V

ersion :

E[ g( X )] = ∑ g( x ) p( x ) i

i

x X

i

Importance Expectation

Discrete V

ersion :

N

1 N

[

E X ] = ∑ x p( x ) = ∑ x p( x ) = ∑ x | p( x ) 1

=

i

i

i

i

x

∀ ∈ X

i=

N

i

i

N

1

i 1

=

i

N

2

2

1

[

E X ] = ∑ x p( x )

2

=

x | p( x ) 1

=

i

i

x

∀ ∈ X

N

i

i

N

i 1

=

i

2

σ = ∑( x − µ )2 p( x ) = [ 2

E X ] − [

E X ]

X

i

X

i

x

∀ ∈ X

i

• Note:

– ในกรณีของ Data ที่ได ้จากการสุ่มตัวอย่าง เราได ้เฉพาะค่า

Estimate ของ Mean และ Mean Square เท่านั้น และ

From n

S

amples : p( x ) = 1 , Each sample h as the s

ame p

robabilit y

i

N

N

ˆ

µ = X = 1

x

X

N i

i =1

N

Estimate E[ X 2 ] = X 2 = 1

x 2

N i

i =1

2

σ = E[ X 2] − E[ X fr

] om e

stimation i

s bi

ased.

X

We u

se the l

east biased f

ormular :

1

2

2

N

2 

SampleVari ance(Estim ated)

V

:

= s

=

( x

X )

X

N

1

∑ −

N − 1

i

i =1

Multivariate: RV มากกว่า 1 ตัว

• จุดประสงค์ในการศึกษา RV มากกว่าหนึ่งตัว

พร ้อมๆกัน เพื่อจะหาความสัมพันธ์ระหว่าง RV

– แสดงโดยกราฟ Joint PDF

– หรือค่าเฉลี่ยทางสถิติ Correlation และ Covariance

กรณีของ Bivariate

– เป็นการศึกษาความสัมพันธ์ระหว่าง RV สองตัว คือ X

และ Y แต่ละตัวอาจเป็น Discrete หรือ continuous

• เช่นความสัมพันธ์ระหว่างส่วนสูงและอายุ

• หรือความสัมพันธ์ระหว่างคะแนน Midterm และเกรดปลาย

เทอม

• หรือความสัมพันธ์ระหว่าง GPA กับเงินเดือนที่ได ้เมื่อจบ

การศึกษา

Multivariate: RV มากกว่า 1 ตัว

Multivariate: RV มากกว่า 1 ตัว

Joint CDF/Marginal

Density

Joint Moment

Correlation

• G(x,y) = XY

N

M

N

M

Discrete Version : R

= ∑∑ x y p( x , y ) = ∑∑ x y p( x ) p( y ) XY

i

j

i

j

i

j

i

j

i 1

= j 1

=

i 1

= j 1

=

N

M

N

M

1

1

= ∑ x p( x )∑ y p( y ) | independent = ∑ x

y | p( x 1

) =

, p( y

1

) =

i

i

i

i

i

i

i

N

i

M

1

=

1

=

N

1

=

M

i

i

i

i 1

=

Covarience

Correlation and Covarience

การประมาณค่า Rxy และ Cxy จาก

Samples

• เราเก็บตัวอย่างเป็นคู่ (xi,yi) จํานวน N คู่

• Probability ของการได ้แต่ละตัวอย่างเท่ากัน คือ

1/N

• ดังนั้น

N

N

1

R

= E[ XY] =

x y P( x , y )

x y 1

( )

x y

XY

∑∑

=

i

j

i

j

=

i

i

N

i

i

1

N

i

j

i =

i =1

• และ

N

C

= E[( X m ) Y

( − m )] = ∑( x m )( y m 1

)( )

XY

X

Y

i

X

i

Y

N

i=1

N

= 1 ∑( x m )( y m ) = R m m i

X

i

Y

XY

X

Y

N i=1

EX.จงหา Rxy และ Cxy จาก

ตัวอย่างในตารางข ้างล่าง

• ข ้อมูลจากชายไทย อายุระหว่าง 12 – 30 ปี

• X=อายุ และ Y=ส่วนสูง

No.(i) xi

yi No.(i) xi

yi

1

20

178

7

12

168

2

25

176

8

18

156

3

19

163

9

26

174

4

21

184

10

20

171

5

30

180

11

24

182

6

16

165

12

17

179

Scatter Diagram

Calculation Table

PDF ที่สําคัญ

P[X=x]

P[X<=x]

1.0

q

p

x

0

1

Binomial Distribution

n

n

n

!

n

C( ,

n k) = C = C =

=

k

k

 

k k (

! n k)!

b(k;10,0.5)

b(k;10,0.2)

Geometric Distribution

P=0.5

P=0.2

Uniform Distribution

f(x)

1/(b-a)

a

b

x

Gaussian Distribution

Gaussian

Area = 1

Jointly Gaussian: X, Y

P = 0

Volumn = 1

P = 0.5

P = 0.9

P = 0.95

P = -0.99

Exponential Distribution

Exponential Distribution

A = 1

Area = 1

Poisson Distribution

Lambda = 1

Lambda = 3

Lambda = 5

Lambda = 8

Lambda = 12

Lambda = 18

Break

• After Break Chapter 5 Random

Process

Random Process

• เมื่อ Random Variable เป็น Function กับเวลา

– สัญญาณที่มีลักษณะ Random เช่น Noise

– การส่ง Packet ใน Network

– จํานวนรถที่วิ่งบนถนน

– จํานวนลูกค ้าที่เข ้ามาใช ้บริการ

• เหล่านี้ ในแต่ละเวลาหนึ่งๆ ค่าของมันจะมีลักษณะเป็น

Random คือมี PDF ตามแต่ชนิดของมัน

– ที่เวลาต่างกัน PDF อาจจะเปลี่ยน และค่าทางสถิติจะเปลี่ยนตาม

• Random Variable ที่เป็น Function (Random Function หรือ Analytic Function) กับเวลา เราเรียก Random Process หรือ Stochastic Process

– จาก RV X จะเป็น X(t)

– Mean และ Variance จะเป็น Function กับเวลาด ้วย

• การวิเคราะห์จะซับซ ้อนกว่า RV

Random Process

(Stochastic Process)

Statistical Average

2

2

2

σ → σ

( t)

X

X ( t )

Sample Function: Ensemble

Average and Time Average

Sample Function and

Ensemble

X ( t)

X ( t )

X ( t )

2

1

ω ( t)

n

Time

ω ( t)

j

Average

1 ∫ ω t() dt

i

T

T

ω ( t)

i

ω ( t)

time

2

ω ( t)

1

t

Ensemble

Ensemble

Average

Average

X ( t),

2

σ ( t)

X

2

X ( t ,

) σ

2

X ( t ,

) σ

1

X ( t )

1

2

X ( t )

2

Statistical Average:

Correlation/Covariance

Stationary RP

2

2

2

σ

( t) → σ

= σ

X ( t )

X ( t )

X

Stationary RP

• Stationary RP

– Strict Sense Stationary (SSS)

• PDF ไม่เปลี่ยน ดังนั้นทุกๆ Moment

(Expectation) ไม่เปลี่ยน

• ปกติ SSS จะหาได ้ยากในทางปฎิบัติ บ่อยครั้งที่เรา

สนใจแค่สอง Moment แรก

– Wide Sense Stationary (WSS)

• เฉพาะ 2 Moment แรกคงที่ แต่ PDF อาจแปรผัน

– Mean

– Variance (Mean Square)

WIDE SENSE

STATIONARY

0

t2-t1 t1

t2

Autocorrelation(WSS)

R

( t , t ) = R ( t t ) = R (τ ) XX

1

2

X

2

1

X

Peak=Power

Even

τ = t t

2

1

Ergodic Random Process

• ถ ้า RP เป็น Ergodic

– Time Average = Ensemble Average

– Mean Ergodic

• หมายถึงค่าเฉลี่ยในทางเวลา 1 ∫ ω t() dt i เท่ากับ

ค่าเฉลี่ย(mean = E(X(t

T

T

i))) ของ Ensemble

– Correlation Ergodic

• หมายถึงค่า Variance ในทางเวลา 1 ∫ ( ω t() ω t 2

( )) dt

i

i

T

T

เท่ากับค่า Variance ที่ได ้จาก Ensemble 2

σ X( t ) i

– เราใช ้ควบคู่กับ Concept ของ Stationary Random Process

Discrete-Time Random

Process

Discrete-Time Random

Process (Limited Samples)

Ergodic Discrete RP

• ถ ้า RP เป็น Ergodic ด ้วยค่า Mean (Average จาก Ensemble = Average จาก Time)

Ergodic Discrete RP

• ถ ้า RP เป็น Ergodic สําหรับ Coorelation

กรณีที่จําก ัด Sequence ความยาว N

จําก ัด Sequence ความยาว N

• ค่า Autocorrelation สําหรับ N Samples

– สมการจะลดรูป เหลือแค่ Sum และเฉลี่ย N

Point แต่จะเกิดการ Biased

N

1

R

( m) = lim

x( n) x( n

m)

XX

+

N →∞ 2 N + 1 n=− N

ความหมายของ x(n)x(n+m)

N

1

R

( m) = lim

x( n) x( n

m)

XX

+

N →∞ 2 N + 1 n=− N

X(n)

X(n+2)

X(n-3)

ความหมายของ x(n)x(n+m), N Points N

N m 1

R

( m = 1

)

x n x n

m

x n x n

m

XX

∑ ( ) ( + = 1

)

− +

( ) ( +

)

N

N

n=0

n=0

X(n): n=0,1,…,9

X(n+3)

เราไม่ควรเฉลี่ยทั้ง N ตัว (Biased) แต่ควรเฉลี่ย N-m ตัว (non-Biased)

จําก ัด Sequence ความยาว N

• ค่า Autocorrelation สําหรับ N Samples

– สมการจะลดรูป เหลือแค่ Sum และเฉลี่ย N

Point แต่จะเกิดการ Biased เพราะเราเฉลี่ย

น ้อยกว่านั้น

Sequence ความยาว N / RAW

Sequence ท่ัวไป

Example: Rxx

• x=[1 2 3]

Example: Rxx

• x=[1 2 3]

Example: Rxx

• x=[1 2 3]

Example: Rxx

• x=[1 2 3]

Example: Rxx

• x=[1 2 3]

Example: Rxx

• x=[1 2 3]

Example: Rxx

• x=[1 2 3]

Example: Rxx

• x=[1 2 3]

Rxx(m)

Example: Rxy

• x=[1 2 3], y=[4 5 6 7]

Example: Rxy

• x=[1 2 3], y=[4 5 6 7]

Example: Rxy

• x=[1 2 3], y=[4 5 6 7]

Example: Rxy

• x=[1 2 3], y=[4 5 6 7]

Example: Rxy

• x=[1 2 3], y=[4 5 6 7]

Example: Rxy

• x=[1 2 3], y=[4 5 6 7]

Example: Rxy

• x=[1 2 3], y=[4 5 6 7]

Rxy(m)

End of Week 5

• Download HW 4: Probability

– ส่งต ้นชั่วโมงสัปดาห์หน้า

Document Outline

Table of contents

previous page start